Project Digits
https://nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertipsNVIDIA Puts Grace Blackwell on Every Desk and at Every AI Developer’s Fingertips
各Project DIGITSは、128GBのcoherentメモリと最大4TBのNVMeストレージを搭載しています。このスーパコンピュータを使用することで、開発者は最大2000億パラメータの大規模な言語モデルを実行してAIの革新を加速できます。
さらに、NVIDIA ConnectX®ネットワーキングを使用すると、2台のProject DIGITS AIスーパコンピュータをリンクして、最大4050億パラメータのモデルを実行できます。
Llama 3.1 405Bがターゲット?wogikaze.icon
FP4で1PFLOPS
なら500TOPSというわけかwogikaze.icon
RTX 4070(466TOPS)ぐらい?
karminski-牙医(@karminski3)
速报，寄了嗷，NVIDIA Project Digits 内存带宽只有 275GB/s. 意味着跑 70B-int4 速度只能到 6.8 token/s. 如果跑 DeepSeek-R1-Distill-Qwen-32B-Q5_K_M, 大概是 12.5 token/s. 就是个更便宜的 MacMini M4 Pro。
如果信了老黄的说法，用这个跑200B的大模型，一分钟也就能吐出来2句话。
https://gyazo.com/7c760a124170cd21bf7852b9f008a240
改名
→ DGX Spark